論文読む: Federated learningをp2p化し、central nodeが明示的に特定できない機械学習の手法「swarm learning」
public.icon
積読：federated learningをp2p化し、central nodeが明示的に特定できない機械学習の手法「swarm learning」
結論: 一応あるtkgshn.icon
その中で、機械学習を使っているのがデフォルトだけど、個人情報保護法によって「技術的に可能なことと許されること」には差分がある
? 先行研究と比べてどこがすごい？
そこで、世界中のあらゆるデータ所有者のあらゆる医療データを、プライバシー法に違反することなく統合するために、Swarm Learningを導入します Swarm Learningは、エッジコンピューティング、ブロックチェーンベースのピアツーピアネットワーキング、中央調整者を必要としない機密性を維持した調整を統合する分散型の機械学習アプローチで、これによりFederated Learningを超えることができます。 おおtkgshn.icon*4
現状の医療とAIの現場では、「中央集権型AI」が主に使われている 集中型ソリューションには、データトラフィックの増加、データの所有権、機密性、プライバシー、セキュリティに関する懸念、データ集約者に有利なデータ独占の創出など、固有のデメリットがあります
? 技術や手法のキモはどこ？
概念的には、ローカルに十分なデータとコンピュータインフラがあれば、ローカルで機械学習が可能である
https://gyazo.com/078642c36b076cac6d94e91346ea47a7
c, Federated learning。データはデータ提供者に保管され、計算はローカルデータの保管と利用可能な場所で行われるが、パラメータ設定は中央パラメータサーバでオーケストレーション。
Perplexity AI.icon 連合学習では、複数のデバイスやクライアントにまたがる学習プロセスを調 整するために、中央のパラメータサーバが使用される。中央サーバーは、クライアントからのモデルパラメータを集約し、更新されたモデルパラメータをクライアントに返送する1。中央パラメータサーバは、学習プロセスを調整し、モデルパラメータが正しく更新されるようにすることで、連携学習において重要な役割を果たす。 あー、これ、わかってきたかも。自分が勘違いしてた気がする
これは結局中央が破壊されたりすると成り立たないのか
まだまだ中央集権だったということねtkgshn.icon*4
Federated AIは、これらの側面のいくつかに対応しています19,25。データはローカルに保存され、ローカルな機密性の問題は解決されるが26、モデルパラメータは依然として中央の管理者によって扱われるため、権力が集中する。さらに、このような星型のアーキテクチャは、耐障害性を低下させます。
d, 中央保管者を必要としないSLの原理。
e, ブロックチェーン技術を使って実装されている、学習のためにパラメータ交換するスワーエッジノードからなるスワーネットワークの模式図
eは、ブロックチェーンを使っているだと？tkgshn.icon*3
? どうやって有効だと検証した？
? 議論はある？
- FLにsmart contractを積むのは全然難しくないし先行研究が既にある
- central nodeの所有者が入れ替わるセキュリティ上のメリットが不明瞭などと、N誌がML全然わかってないと批判されまくってるw
群学習の最大のイノベーションは、データを集約する中央ノードが存在しないことだという。しかし、補足によると、「個々のモデルの学習を共有する際に、群ノードの1つを動的にリーダーとして選出し、選出されたリーダーノードが各ピアノードからモデルパラメータを集めてマージし、ノードがマージしたパラメータを使用して次の学習バッチを開始する」そうです
私見では、群学習は明示的な中央ノードを持たないが、モデルがパラメータを共有する必要があるときは、毎回ローカルノードの1つがセンターとして選ばれ、暗黙の中央ノードと見なすことができる。また、標準的な連合学習のようにパラメータの平均値ではなく、1つのローカルノードが他のノードのパラメータをすべて受け取ることになるので、この設定でどのようにプライバシーを保つのかがわかりません。また、著者らはネットワークとしてブロックチェーンを使用し、ブロックチェーンのスマートコントラクトが半信半疑の参加者や不誠実な参加者からの攻撃を防ぐと述べています。私はブロックチェーンにあまり詳しくないので、詳しい仕組みやブロックチェーンの利点が何なのか、ちょっとよくわからないのですが。
この論文を見ると、医療データとプライバシーのバックグラウンドを持つレフェリーを得た可能性が高いが、MLではないことは明らかだ。実験やベースラインは特に厳密なものではなく、全体として、技術的に小さな進歩であるにもかかわらず、恐ろしく大げさに書かれています。
ボロクソやんwtkgshn.icon*3
ここにはブロックチェーンの応用はありません。ブロックチェーンを使った連合学習は新しいものでもなく、私たちは2018年に1つ構築しましたが、その時も最初にやったわけではありませんでした。これは、低品質のNatureの出版物に過ぎない。
フェデレイテッド・ラーニングからセントラル・ノードを取り除くことが、どのようなイノベーションなのか？安全なマルチパーティ計算で集計ステップを行うことで、簡単に実現できます。そうすれば、完全に分散化されたFLプロトコルが実現します。
なるほどtkgshn.icon*4
「Swarm Learning」という言葉は存在せず、おそらくSwarm Intelligenceや最適化の概念に気づいていない著者が作った言葉です。しかし、これは彼らの責任ではなく（応用科学分野の人々がAIやMLの様々なサブフィールドを把握することを期待することはできない）、このような誤った呼び方を簡単に許してしまうことが、ML全般にとっていかに悪いことであるかを示しているに過ぎない。 やはり
読む前に「これ別のところで似た概念聞いたことある」っていうtkgshn.iconのが当たってた
そのグループの人たちが、様々なタイプの自然をモチーフにした最適化について知らなかったとしたら、とても驚きです。少なくとも5～10年前には、それらの分野でかなり普及していました（少なくとも粒子群最適化は）。
wwwwtkgshn.icon*3
Federated Learningは、分散したワーカープールを持ちながら、単一のパラメータサーバを持つという事実のために、やや誤解を招く用語である
これはあるtkgshn.icon*3
分散したパラメータサーバーを持つオプションが検討されていますが、その際に使われがちな名称は「真の連合学習」または「ピアツーピア学習」です。
? 次に読むべき論文は？
興味のために読んだので特になし。